Sau khi đến làm tại kho vũ khí Osaka, Shiba được chuyển đến Lực lượng Vệ binh Hoàng gia. Năm 1895, ông tham gia Chiến tranh Trung-Nhật.

Thăng chức Đại tá năm 1900, trong cuộc nổi dậy Boxer, Shiba được gửi đến Lãnh sự quán Nhật với vai trò tùy viên quân sự. Trong suốt chiến dịch ông thể hiện rất xuất sắc, như cuộc vây hãm Bắc Kinh, và nhận nhiều huy chương của các nước phương Tây trong Liên minh 8 nước. Tên ông đã xuất hiện trên tờ báo The Times.

Trong cuộc Chiến tranh Nga-Nhật, ông phục vụ tại một Trung đoàn Pháo binh, vì dũng cảm trong chiến đấu nên ông được tặng thưởng Huân chương Cánh diều vàng hạng hai. Sau đó ông qua Vương quốc Anh với vai trò Tùy viên quân sự.

Khi trở về nước ông trở thành Đại tướng, chỉ huy Sư đoàn 12 mới thành lập và được tặng thưởng Huân chương Kho báu Thần thánh hạng nhất. Ông được lựa chọn để cùng Hoàng tử Higashifushimi Yorihito đi công du nước Anh năm 1918. Sau khi trở về Nhật Bản, ông được gửi đến chỉ huy Quân đội Đài Loan trước khi nghĩ hưu.

Tin nước Nhật đầu hàng đã làm ông đau đớn. Ông tự tử năm 1945